Gradient Boosting

Gradient Boosting은 통계적 기계 학습 기법 중 하나로, 주로 회귀와 분류 문제를 해결하는 데 사용됩니다. 이 기법은 여러 개의 약한 학습자(예: 결정 트리)를 결합하여 강력한 예측 모델을 만드는 방식으로 작동합니다. Gradient Boosting은 한 번에 하나의 약한 학습자를 추가하며, 각 단계에서 이전 모델이 잘못 예측한 부분에 대해 집중합니다. 이를 위해 손실 함수의 기울기를 계산하여 새로운 약한 학습자가 그 경향을 보완하도록 학습합니다. 이 과정은 여러 차례 반복되며, 이로 인해 전체 모델의 예측력이 향상됩니다. Gradient Boosting의 주요 장점은 뛰어난 성능과 유연성으로, 다양한 데이터 유형에 대해 효과적으로 작동하며, 과적합을 방지하기 위한 여러 정규화 기법을 적용할 수 있습니다. 예를 들어, 학습률 감소, 트리 깊이 조정 등을 통해 모형의 복잡성을 제어할 수 있습니다. 대표적인 구현으로는 XGBoost, LightGBM, CatBoost 등이 있습니다.